Phase 4 of the CRISP-DM Process Model: Modeling ¶
4.1 Selecting modeling techniques¶
En este apartado nos vamos a centrar en explicar que es un embedding, las diferentes técnicas de generación de embeddings y como pensamos utilizarlo en el recomendador de películas.
4.1.1 Embeddigns¶
Los modelos de machine learning, por lo general, utilizan vectores como parametros de entrada.
Por lo tanto, cuando trabajamos con palabras o texto, lo primero que necesitamos hacer es convertir estas strings a vectores.
Una de las grandes ventajas que presentan las técnicas de embeddings, es que el siginificado de las palabras se ve reflejado en la diferentes carácterísticas de los vectores.
La red neuronal word2vec fue una de las primeras victorias en el campo del NLP con redes neuronales.
Word2vec es capaz de, dado una palabra, retornar un vector que codifica esa palabra.
- Continuous Bag of Words(CBOW): dado un conjunto de palabras intenta predecir el contexto.
El modelo toma C palabras codificadas en vectores one hoy de longitud V.
La copa oculta tiene N neuronas.
La capa de salida vuelve a ser un vector one hot de dimension V con una distriubcion de probabilidad realizada usando softmax.
- Skip-Gram: Dado un contexto, predice una serie de palabras.
La capa de entrada es un vector one hot encoded de longitud V.
La capa oculta contiene N neuronas.
La capa de salida contiene C distribuciones de probabilidad con V probilidades cada una (una para cada palabra)(equivalente al de entrada) cuyos valores son los valores porcesados por softmax.
En ambos casos las redes neuronales se entrenan usando softmax.
Por último, uno de los problemas que nos presenta Word2Vec es que ha sido diseñado para procesar embeddings palabra por palabra. Por lo tanto, para realizar el embedding de un texto, lo que haré será realizar la media de todos los vectores que lo componen.
Why not finetunning bert: finetunning for labeled data
4.1.1.3 Explicación formal Glove/FastText¶
4.1.2 Recommender System¶
Provisionalemente: Como sistema de recomendación, el planteamiento a seguir es buscar las películas tales que la similitud del coseno de los diferentes vectores es máxima.
Idealmente: hacer one hot del genero, añadir los valores numéricos como recomendación y nota y vectores de embedding y pasarlos a knn, solicitar al modelo los K más cercanos.</font>
4.2 Building model(s)¶
